20 サブセグメント分割に基づく3Dスキャンモデルのインタラクティブセグメンテーション

https://scrapbox.io/files/6752c2051066717bc39a4fc7.png

20 サブセグメント分割に基づく3Dスキャンモデルのインタラクティブセグメンテーション

真殿 航輝(早稲田大学/Preferred Networks), 五十嵐 健夫(Preferred Networks), 加藤 大晴(Preferred Networks), 橋本 泰輔(Preferred Networks), Fabrice Matulic(Preferred Networks), 高木 士(Preferred Networks), 樋口 啓太(Preferred Networks)

3Dモデルのセグメンテーションを複数視点からのテクスチャ上2Dセグメンテーションを利用しつつインタラクティブにおこなう手法を提案している. テクスチャ上で自動解析とユーザ操作をマージしていく手法は新規性があり，またデモされている内容も十分に納得感のある結果となっていており高く評価できる. 一方で，論文の記述の質に問題があり，また，インタラクティブな3Dのセグメンテーションに関する従来手法からの新規性がわかりにくい，という問題もあるため著者らにはカメラレディの前に修正を依頼し，条件付き採録とする.

3Dスキャンモデルにおいてパーツ毎のテクスチャセグメンテーションは，モデルの再編集やマテリアル付与の目的で重要である．従来の手法では手動によるセグメンテーションが手間である一方，自動セグメンテーション技術ではユーザの意図通りに分割される保証がない．本研究では，自動セグメンテーションと最小限の手動操作を組み合わせたインタラクティブセグメンテーションツールを提案する．このツールは，前処理として3Dモデルを多視点から自動セグメンテーションすることでテクスチャをサブセグメントに分割し，実行時にユーザが3Dモデルビューで簡単な線描画でクラスタ化する事で，最終セグメンテーション結果を得る．評価の結果，本アプローチは手動セグメンテーションや標準的な3Dコンピュータグラフィックスソフトウェアに比べて精度と品質を向上させ，UVテクスチャマップの自動セグメンテーションに比べてより詳細なセグメントを生成できることが示された．

論文・補足情報

【共著者より】この研究は昨年のPFNインターンに来ていただいた真殿さんの研究成果です。

この前の研究は川辺さん(一昨年のインターン)のマテリアルアノテーションUIの研究であり。

川辺さんのUIの方は現在PFN 3D Scanというサービスでも実際に使われています

https://scrapbox.io/files/675a66d3e9cbb03f346b08e7.png

参加者メモ・コメント

サブセグメントがきれいに分割されているという前提なのでしょうか？

サブセグメントが意味のある単位にまとまりつつ、十分に細かくなるようなアルゴリズムを提案しています

UVマップにセグメンテーションを適用するだけだと、きれいに取れないので、モデルを色々な方向からレンダリングした結果に対してもセグメンテーションして結果を合わせています

実験では参加者にブロッコリーの葉と茎を塗り分けてもらうという非人道的？なタスクをやってもらいました。

UVセグメント以外（例えば形状の特徴量を使う）方法と組みあわせはしているのでしょうか？

サブセグメント間の距離行列の計算には3次元形状も考慮しています

質疑

そもそもセグメントの境界自体が曖昧なケース（植物とか食べ物）だと予測結果はどういう挙動を示すのかきになりました

実験でもブロッコリーの茎と葉を塗り分けるタスクをして、マニュアルセグメンテーションに比べてに大幅なセグメンテーション精度の向上をしています